Education in the Knowledge Society 24 (2023)

Scientific Competence in Primary Education: Design and Validation of an Instrument

Competencia científica en Educación Primaria: diseño y validación de un instrumento

Mónica Santamaría-Domínguez^a(*), Amparo Jiménez-Vivas^b, Mayte Gómez-Marcos^c

^aFacultad de Educación, Universidad Pontificia de Salamanca, Salamanca, España

https://orcid.org/0000-0001-7595-0068msantamariado@upsa.es

^bFacultad de Educación, Universidad Pontificia de Salamanca, Salamanca, España

https://orcid.org/0000-0002-2739-6581ajimenezvi@upsa.es

^cInstituto de Estudios Europeos y Derechos Humanos, Universidad Pontificia de Salamanca, Salamanca, España

https://orcid.org/0000-0002-4368-7012mgomezma@upsa.es

ABSTRACT

Primary education is a critical stage in every student’s education, mainly because they get the base of their scientific education during this time. Knowing how they access the different subjects related to such content, their level of prior knowledge, their predisposition to learning, and how they can transfer it can be vital to establishing motivation and interest in scientific knowledge. Moreover, this kind of competence involves understanding reality from a scientific point of view and encourages prudent and responsible decision-making in other situations in everyday life. That is why this research aimed to design and determine the reliability and validity of a test that evaluated the scientific competence of primary school (COCIP). This way, after a long and thorough bibliographic review, a test that included 30 items divided into 6 categories was constructed. Subsequently, experts were consulted, and they gave positive feedback on the test. After this, a pilot study with 20 students was conducted and allowed us to make some modifications. Finally, the instrument was applied to a sample of 709 students in the sixth grade of primary school. The reliability analysis was estimated using internal consistency analysis, and each item’s technical quality was studied using the Rasch model of Theory of Item Answering. The results and their analysis show that the test is original, innovative, and has good psychometric characteristics, making it a reliable and valid instrument for measuring scientific competence.

Keywords
Primary Education students; scientific knowledge; evaluation; measuring instrument; reliability; validity

RESUMEN

La etapa de Educación Primaria es esencial en la formación del alumnado, en parte porque en ella se recibe la base de su educación científica. Saber cómo acceden a las distintas materias relacionadas con dicho contenido, cuál es su nivel de conocimiento previo, su predisposición al aprendizaje y cómo son capaces de transferirlo, puede resultar clave para instaurar motivación e interés por el conocimiento científico. Además, la competencia científica conlleva el entendimiento de la realidad desde la evidencia científica y permite tomar decisiones responsables en la vida. Por ello, el propósito fue diseñar y determinar la fiabilidad y validez de un cuestionario de evaluación de la competencia científica en Educación Primaria (COCIP). Así, tras una amplia y exhaustiva revisión bibliográfica, se construyó un cuestionario compuesto por 30 ítems divididos en seis bloques. Posteriormente, se realizó la consulta a jueces expertos, quienes valoraron positivamente la adecuación del cuestionario. A continuación, se realizó un estudio piloto con 20 estudiantes, el cual permitió hacer algunas mejoras del cuestionario. Finalmente, se aplicó el instrumento a una muestra de 709 estudiantes de sexto de Educación Primaria. El análisis de la confiabilidad se calculó a través del análisis de su consistencia interna, y la calidad técnica de cada ítem se analizó a través del modelo de Rasch de la Teoría de Respuesta al Ítem. Los resultados y el análisis permiten concluir que la prueba es original, novedosa y presenta unas buenas propiedades psicométricas, calificándola como un instrumento fiable y válido para medir la competencia científica.

Palabras clave
estudiantes de educación primaria; conocimiento científico; evaluación; instrumento de medida; fiabilidad; validez

1. Introducción

La Educación Primaria es una etapa clave en el proceso de formación del alumnado. Entre los 6 y los 12 años los chicos y chicas reciben la base de su educación científica, incluyendo los conocimientos recogidos en las asignaturas de Ciencias Naturales y Matemáticas. Conocer cómo acceden por primera vez de manera reglada a las asignaturas de ciencias, cuál es su nivel de conocimiento previo y su predisposición al aprendizaje de estas materias y transferencia de las mismas, puede ser clave para determinar su grado de interés por la ciencia y una forma clara de motivar aprendizajes futuros.

En la actualidad, la enseñanza de las ciencias plantea grandes desafíos para el profesorado que, además de responder a las demandas de cómo enseñar y llevar al aula las propuestas curriculares (Martín et al., 2015), debe encontrar la manera más pertinente de conectar con el alumnado para desarrollar en él valores, actitudes y aprendizajes, y posibilitar la transferencia del conocimiento científico, suponiendo un reto para las instituciones (Romine y Sadler, 2016).

Es necesario establecer un sistema que permita evaluar, de manera rigurosa y válida, la predisposición de los estudiantes hacia las ciencias y cómo son capaces de transferir los aprendizajes efectuados (Lupión-Cobos et al., 2019; Mato et al., 2014; Vázquez et al., 2004). Encontramos estudios de las actitudes de los estudiantes de primaria, hacia diversos aspectos de la ciencia y la tecnología, llegando a ciertas conclusiones de interés, como una valoración más positiva en el alumnado de primaria acerca de los científicos y su trabajo (Pro Bueno et al., 2009) o, por el contrario, un deterioro de las actitudes relacionadas con la ciencia a medida que aumenta su edad (Vázquez y Manassero, 2008, 2015).

Además, según los planteamientos de Garritz (2010) la interacción del alumnado con su entorno resulta un elemento central de la enseñanza y el aprendizaje, ya que proporciona comprensión y motivación de lo aprendido y le orienta a seguir estudiando. También las actitudes de los estudiantes son un gran potencial que promueve el aprendizaje y el rendimiento (Mellado y Blanco, 2013). Actitudes, motivación y transferencia constituyen en algunos de los pilares básicos que determinan una concepción renovada del papel de las ciencias en la enseñanza.

1.1. Justificación

El presente estudio muestra el diseño y análisis psicométrico del Cuestionario de Evaluación de la Competencia Científica de los estudiantes de Educación Primaria (COCIP).

El proyecto marco (financiado por la Fundación Española para la Ciencia y la Tecnología (FECYT) con referencia FCT-13-6766 y replicado en 2019), aborda diferentes aspectos relacionados con la competencia científica: la valoración de la formación recibida, la metodología empleada por el profesor, la implicación en el conocimiento científico y la transferencia de los aprendizajes. Estos elementos definen conocimiento científico como un desafío que configura una línea de investigación de importancia en la actualidad (DeBoer, 2011; García et al., 2021). Al mismo tiempo, en la actualidad es indispensable entender el papel de la formación y la alfabetización científica de los estudiantes (Rosales et al., 2020) e interesa particularmente analizar la implicación en el conocimiento científico y la transferencia de los conocimientos adquiridos por los estudiantes a su vida cotidiana. Este objetivo investigador es altamente relevante en la actualidad educativa, ya que los cambios en la sociedad demandan una nueva enseñanza de las ciencias coherente con las nuevas realidades (García et al., 2021; Hodson, 2003).

De ese modo, realizar una evaluación rigurosa de la competencia científica de los estudiantes a través del diseño de instrumentos válidos y fiables será el primer paso para que estos puedan transferir aprendizajes y aumentar la motivación del alumnado por aprender los contenidos aplicados, implicarse en este tipo de conocimientos y darles sentido tanto a corto como a largo plazo. Es necesario conocer la predisposición de los chicos y las chicas de entre 11 y 12 años al contemplar la carrera científica como una posibilidad real de desarrollo a largo plazo o continuar su aprendizaje a lo largo de la vida (Arandia et al., 2016; Nordine et al., 2011). Al mismo tiempo, ofrecerá la posibilidad de mostrar el logro competencial de estos alumnos en un momento de cambio educativo muy significativo, 6º curso de Educación Primaria, que lleva asociado un cambio de ciclo, etapa y nivel.

Por otro lado, este diagnóstico también hace posible una evaluación de la pertinencia o no de los contenidos que hacen referencia a la ciencia dentro del currículo. Orienta una forma de evaluar el currículo oficial, desde propuestas metodológicas de investigación-acción, donde la práctica educativa y la investigación científica de alto nivel encuentran un espacio que permite innovar y ser críticos con la realidad, para poder transformarla, obligando a los docentes a emplear metodologías innovadoras y una disposición a crear contextos favorables capaces de promover aprendizajes, según las necesidades y tendencias actuales (España y Prieto, 2010).

La complejidad de la sociedad actual plantea retos educativos que requieren de un debate en profundidad sobre qué aprendizajes fundamentales deben adquirir los alumnos al finalizar la enseñanza obligatoria y qué competencias son necesarias para garantizar la calidad en los resultados de educación (Méndez-Alonso et al., 2015). Las competencias educativas, tan de actualidad en nuestro sistema educativo, requieren necesariamente de una aplicación de lo aprendido en la escuela a contextos reales y cotidianos y nos permiten comprobar si los objetivos del currículo son transferibles a la vida diaria. Este hecho, se relaciona necesariamente con la motivación hacia el aprendizaje y la utilidad del mismo. Por tanto, podemos entender que, si los estudiantes son capaces de transferir lo que aprenden, serán capaces de valorar positivamente la adquisición de lo aprendido y así mejorar las emociones asociadas a su aprendizaje (Dávila-Acedo, 2017).

La prueba diagnóstica que se desarrolla permitirá, entre otros elementos, extraer conclusiones respecto a cómo la iniciación en el ámbito de la ciencia desde el currículo y la transferencia de los aprendizajes efectuados, pueden determinar el interés y la vocación científica temprana de los escolares que están en proceso de cambio de etapa educativa.

Las respuestas obtenidas ayudarán a tener un diagnóstico de la utilidad que otorgan los estudiantes a los contenidos científicos desarrollados en su formación de educación primaria, si los perciben como útiles y relevantes y si se sienten motivados hacia ellos y pueden convertirse en una elección futura en su continuidad educativa.

También, facilitará realizar un diagnóstico secundario diferenciando las valoraciones en relación con el género o la titularidad del centro (público o concertado) en el que estudia el alumnado. El primer aspecto constituye un dato relevante en el conocimiento científico ya que tradicionalmente se ha interpretado este interés dentro del abanico de elecciones predominantes en los sujetos masculinos, mientras que los intereses de carácter humanístico son considerados tradicionalmente más propios de elecciones feminizadas (OECD, 2019). El segundo aspecto, permite revisar si los logros alcanzados son similares o diferentes según la titularidad de los centros educativos.

2. Método

2.1. Objetivos

La finalidad del estudio se centra en diseñar un instrumento válido y fiable para medir el nivel de competencia científica de los alumnos de 6º curso de Educación Primaria.

Los objetivos se concretan en:

1.Determinar la fiabilidad y validez del instrumento diseñado respondiendo a los criterios habituales de investigación científica en este campo.

2.Efectuar un Análisis Factorial Exploratorio utilizando el método de Análisis de Componentes Principales para estudiar la dimensionalidad del COCIP.

2.1.Analizar la calidad técnica de los reactivos aplicando la Teoría de Respuesta al Ítem (TRI) a través del modelo de Rasch.

2.2. Muestra

El estudio se ha llevado a cabo en 21 Centros de Educación Primaria de Castilla y León, de los cuales 10 son de titularidad pública y 11 de titularidad concertada. La muestra de estudio, como se presenta en la Tabla 1, está conformada por 709 alumnos de 6º de Educación Primaria de los cuales 292 estudiantes (el 41,20%) pertenecen a centros públicos y 417 a centros concertados (el 58,80%). El grupo de los estudiantes está formado por 360 alumnos (50,80%) y 349 alumnas (49,20%).

La muestra es bastante homogénea en lo que se refiere a su distribución en relación a la variable sexo y tipo de centro, con un mayor, aunque ligero, predominio de estudiantes pertenecientes a centros concertados (ver Tabla 1).

2.3. Procedimiento

En primer lugar, se contactó con la Dirección Provincial de Educación de Castilla y León, quien previa información por escrito a la Junta de Castilla y León del desarrollo del estudio, solicitó a los centros seleccionados su colaboración para la aplicación del cuestionario. Posteriormente, nos pusimos en contacto con los equipos directivos de los centros para que nos informaran del grupo de Educación Primaria al que podíamos acceder y la fecha. A continuación, concertamos cita con los centros y antes de la aplicación, se realizó un entrenamiento sobre el cuestionario (características, objetivos y protocolo de aplicación) con los tutores de los grupos, ya que con el objetivo de guardar la naturalidad y no “distraer” al alumnado con personas desconocidas, fueron ellos quienes pasaron el cuestionario. La aplicación se llevó a cabo en las aulas con cuestionarios impresos (guardados según Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y Garantía de los Derechos Digitales y las recomendaciones del Comité de Ética para la Investigación de la Universidad Pontificia de Salamanca). La aplicación del cuestionario se realizó en el mes de mayo de 2019, ya que la finalización del curso académico era el momento oportuno para que el alumnado hubiera adquirido los conocimientos correspondientes a su situación académica.

2.4. Características y desarrollo del cuestionario

Se utilizó el cuestionario como forma de recogida de datos, por ser considerado un método apropiado para obtener de manera sistemática y ordenada, información (tanto subjetiva como objetiva) sobre las distintas cuestiones objeto de estudio, representativas de las opiniones, juicios, actitudes, motivaciones, intereses o comportamientos. Esta herramienta ubica al sujeto en una actitud menos obligada para la respuesta inmediata, permitiéndole considerar y racionalizar cada pregunta y, ayuda a atraer su interés, animar a la cooperación y a obtener las respuestas lo más sinceras posibles (Muñoz, 2003).

Para la elaboración de los ítems del cuestionario se ha acudido fundamentalmente a escalas ya elaboradas por estudios que perseguían objetivos similares (Baena, 2000; Delgado et al., 2014; Lupión-Cobos et al. 2019; Manassero-Mass et al., 2004; Mengascini et al., 2004; Nortes y Pro, 2010; Osborne et al., 2003; Pérez, 2005; Porlán et al., 1997; Pro Bueno, 2003; Rosales et al., 2020; Vázquez et al., 2005; Vázquez y Massanero, 2007, 2008). Algún test, como el TOSRA, propuesto por Fraser (1981), se ha aplicado internacionalmente (Cheung, 2009; Romero-Rivas, 2014; Toma y Greca, 2018; Welch, 2010).

Una vez realizada la revisión y no existiendo ninguna escala que respondiera exactamente a los objetivos de la investigación, se determinan algunos de los ítems de cada escala, que se utilizarán como fuente de ideas para generar un cuestionario propio.

Con las sugerencias derivadas de este proceso se construyó el cuestionario compuesto de 30 ítems divididos en seis bloques precedidos por una breve ficha técnica definida por variables de clasificación. Los ítems 19 y 20 están a su vez divididos en 5 ítems por lo que se analizan un total de 38 reactivos.

Para dar validez de contenido al cuestionario, además de la ya comentada revisión bibliográfica, se realizó una consulta a jueces expertos tanto en estadística, como en conocimiento y didáctica de las ciencias y a profesorado directamente relacionado con la docencia en alumnado de 6º curso de Educación Primaria de diversos colegios de Salamanca. Estos emitieron su juicio sobre la adecuación de cada ítem a las variables establecidas. Seguidamente se elaboró un primer cuestionario para ponerlo a prueba con un grupo reducido de personas (pretest). Se seleccionó un grupo de 20 sujetos con características similares a las personas que compondrían la muestra objeto de análisis de nuestra investigación. La realización del cuestionario no supuso especial dificultad para ninguna de las personas que participó en el proceso, pero sí apuntaron consideraciones referentes al lenguaje utilizado y la extensión del mismo. Para solucionar este inconveniente se unificaron preguntas y se reestructuró el cuestionario de forma que su cumplimentación resultara más sencilla y breve. En lo que se refiere a cada uno de los ítems se anotaron algunos detalles que debían modificarse para la mejora del cuestionario definitivo.

Se elaboró un nuevo cuestionario y se puso a prueba con una muestra piloto de 20 estudiantes de 6º curso de Primaria, posteriormente se les preguntó sobre los siguientes aspectos: consideración sobre el tiempo necesario para cumplimentar el cuestionario, dificultad que entraña la cumplimentación, comprensión de cada una de las preguntas realizadas, valoración general sobre el cuestionario, diseño y estructura del mismo.

2.5. Estructura del cuestionario

Para el diseño del instrumento se han tenido en cuenta los cuatro grupos básicos de aspectos que influyen en la motivación de los estudiantes por las disciplinas STEM (acrónimo formado por las iniciales de las siguientes palabras inglesas: Science, Technology, Engineering & Mathematics) (Centro de Investigación para la Educación Científica y Matemática (CRECIM), 2011) según la perspectiva internacional: Participación y competencias que disponen en torno a las áreas STEM; Información sobre las carreras STEM; Autoeficacia del estudiante y creencias actitudinales; percepción social y diferencia de género. A partir de ello, el cuestionario se estructuró en seis bloques, iniciado por unos datos técnicos donde se recogen características personales y académicas de la persona que va a responder. Estas variables servirán como guía de codificación de resultados. En el primer, segundo y tercer bloque, se hace referencia al grado de dificultad del aprendizaje de la ciencia (formación teórica y práctica en el dominio de la investigación científico-tecnológica, capacidad para comunicar…). En el cuarto, se recaba información sobre la valoración de los alumnos sobre la metodología empleada por el profesor, en el quinto se pretende medir el trabajo de los alumnos en clase y su implicación con el conocimiento científico. Por último, el sexto bloque está orientado a la medida de la transferencia a la vida “ordinaria” de los aprendizajes recibidos en el aula sobre el conocimiento científico.

El cuestionario contiene distintos tipos de preguntas con un mismo escalamiento para unificar y facilitar la cumplimentación por parte de las personas que van a responder (Nunca-Pocas veces- Muchas veces-Siempre). La cantidad de opciones de respuesta por ítem es par, de cuatro opciones. Esta decisión se debe a que era de interés para la investigación que las personas se decantaran hacia una posición u otra eliminando el punto neutro.

Su tiempo de aplicación oscila entre 15 y 20 minutos.

2.6. Metodología

La validación del cuestionario se realizó a través de un estudio de la confiabilidad y la calidad técnica de los ítems.

La confiabilidad se determinó a través de un análisis de la consistencia interna mediante el coeficiente Alfa de Cronbach. El valor del estadígrafo obtenido permitió comprobar que los ítems medían el mismo constructo y determinar la correlación entre ellos.

El estudio de la calidad técnica se llevó a cabo a través de la Teoría de Respuesta al ítem, que permite un análisis independiente del conjunto de individuos sobre los que se aplica el cuestionario (Muñiz, 1997). Para ello, fue necesario comprobar previamente la unidimensionalidad de la escala a través de un Análisis Factorial Exploratorio utilizando el método de Análisis de Componentes Principales. Tras comprobar que los ítems no presentaban multidimensionalidad, se aplicó la Teoría de Respuesta al Ítem a través del modelo de Rasch (1960) estimando el nivel de dificultad, el error estándar asociado, el grado de ajuste interno y externo de los residuos, así como el mapa de las habilidades de las personas y las dificultades de los ítems en la misma dimensión latente.

Los análisis se realizaron a través de dos programas estadísticos. La confiabilidad y el Análisis de Componentes Principales se determinaron mediante el programa IBM SPSS Statistics 25. El análisis de la calidad técnica de los ítems se realizó con el programa R a través del paquete eRm.

3. Resultados

La confiabilidad del cuestionario se evaluó a través del análisis de su consistencia interna mediante el coeficiente Alfa de Cronbach. El elevado valor del estadígrafo obtenido (0,89) indicó que todos los ítems midieron un mismo constructo y estuvieron altamente correlacionados entre sí. La consistencia interna no señala, sin embargo, el grado de unidimensionalidad de los ítems que miden el constructo. Es condición necesaria pero no suficiente, los ítems pueden estar relacionados y mostrar multidimensionalidad.

Antes de aplicar un modelo TRI es preciso comprobar la unidimensionalidad de la escala, es decir, demostrar que el primer factor explique un buen porcentaje de la misma varianza. Este estudio se determinó a través de un Análisis Factorial Exploratorio utilizando el método de Análisis de Componentes Principales, para así obtener una aproximación de los constructos subyacentes y ver si se cumplía en grado razonable el supuesto de unidimensionalidad.

El test de adecuación de la muestra de Kaiser-Meyer-Olkin fue de 0,88 y el test de esfericidad de Bartlett fue significativo, de manera que se confirmó la adecuación para el uso del análisis factorial. La determinación del número de factores se realizó a través del criterio de Gutman-Kaiser, es decir, se conservaron aquellos factores con valores propios mayores que 1. Se retuvieron 9 factores y la Tabla 2 muestra para cada uno de los componentes su valor propio y el porcentaje de varianza explicada. El valor propio del primer componente fue de 7,86 con un porcentaje de varianza explicada del 20,67%. La aportación del segundo componente ya pasó a un 7,21% y fue más parecido al siguiente (4,87%).

Es muy difícil lograr encontrar una unidimensionalidad perfecta, es decir, que un solo factor explique por completo la varianza total de las puntuaciones, por tanto, la unidimensionalidad se convierte en una cuestión de grado: cuanta más varianza explique el primer factor, más unidimensionalidad existirá (Muñiz, 1997). Se puede afirmar, por tanto, que el cuestionario muestra evidencias de que la prueba tiende a ser unidimensional, por lo que se puede continuar con el análisis detallado de la calidad técnica de los ítems.

La denominada Teoría Clásica de los Test (TCT) ha sido el principal modelo psicométrico empleado en la construcción y análisis de test. Sin embargo, sus limitaciones han llevado a la propuesta de modelos alternativos como la Teoría de Respuesta al Ítem (TRI), que permite obtener un análisis detallado de la calidad técnica de cada ítem independientemente del conjunto de individuos sobre el que se aplica la prueba y, además, informa del error de medida asociado. Muñiz (1997) destaca dos objetivos generales de esta técnica:

•Proporcionar mediciones de las variables psicológicas y educativas que no dependan del instrumento empleado.

•Disponer de herramientas de medida que sean invariantes respecto de las personas evaluadas.

La TRI considera que la probabilidad que tiene un evaluado de contestar correctamente a un ítem depende de su nivel de aptitud y de las características de los ítems. El modelo asume que las respuestas de los evaluados a un ítem son independientes a las respuestas de los otros ítems. También puede hablarse de independencia local de los sujetos en el sentido de que el rendimiento de un sujeto en un test no depende del rendimiento de los otros sujetos en el mismo test. Estos modelos destacan por la Curva Característica del Ítem (CCI), que muestra la relación existente entre el nivel de aptitud y la probabilidad de respuesta correcta al ítem. Como podemos ver en la Figura 1, en el eje X se sitúan los valores de habilidad y en el eje Y las probabilidades asociadas.

En la TRI se distinguen tres modelos en función del número de parámetros que se estiman. En el modelo logístico de un parámetro, también llamado modelo de Rasch (1960), se estima la dificultad del ítem (b). Este modelo se basa en dos supuestos según señalan Prieto y Delgado (2003):

•El atributo a medir puede representarse en una única dimensión, en la que conjuntamente se situarían a personas e ítems.

•La habilidad de la persona en el atributo y la dificultad del ítem determinan la probabilidad de obtener la respuesta correcta.

El cálculo de la probabilidad de acertar que tiene un individuo con un nivel de habilidad ϴ, se realiza a través de la expresión:

$$P_{j\left(\theta \right)}=\frac{1}{1+e^{-D{a}^{(\theta -b_j)}}}$$

Donde:

P_j (θ) = Probabilidad de acertar el ítem j si el nivel de rasgo es θ

θ = Nivel de rasgo o de habilidad de la persona

b_j = Parámetro de dificultad del ítem j

a = Parámetro de discriminación, que se asume igual en todos los ítems (1)

e = Base de los logaritmos neperianos (2,718)

D = Constante

Para poder aplicar el modelo de Rasch en esta investigación, las respuestas fueron codificadas dicotómicamente en 0 (nunca o pocas veces) y 1 (muchas veces o siempre).

En el Anexo 1 se muestra para cada uno de los ítems del cuestionario el nivel de dificultad y el error estándar asociado.

Para la interpretación de la dificultad de los ítems es preciso considerar que la media se establece en el valor 0. Los ítems con valores positivos muestran mayor dificultad y los ítems con valores negativos mayor facilidad. Aquellos que muestran valores inferiores a -3 o superiores a 3 no se deberían aceptar.

Los niveles de habilidad calibrados para este grupo fueron desde 1,96 hasta -4,03 logits. Predominaron los casos por encima de la habilidad media de 0 logits (22 ítems) y los tres reactivos que presentaron mayor dificultad fueron el 30 (me gusta participar en las actividades que se realizan en el aula = 1,96), 16 (los profesores me animan a aprender cosas relacionadas con la ciencia = 1,79) y 31 (me gusta participar en actividades complementarias que se realizan fuera del aula = 1,76). Asimismo, se observaron tres ítems con una facilidad muy elevada: 25 (los profesores nos llevan a realizar visitas a laboratorios = -3,23), 23 (los profesores usan en clase laboratorios = -3,34) y 26 (los profesores nos llevan a realizar visitas a empresas científicas = -4,03).

El error estándar mide la variación del estimador observado con respecto al parámetro que trata de estimar y cuanto más se aproxime a cero, la precisión de la medida es mayor. Se observó que este estadístico no mostró un alto valor en ninguno de los ítems del cuestionario.

En el Anexo 2 se muestra varios estadígrafos referentes al ajuste de los ítems al modelo.

El grado de ajuste interno y externo se cuantifica mediante dos medias de residuos: Infit y Outfit. El Infit MSQ determina el ajuste de los ítems de los sujetos con un nivel de habilidad cercano al nivel de dificultad del ítem. El valor 1 indica un ajuste perfecto del ítem a la expectativa del modelo, valores menores a 0,6 indican dependencia de los datos observados y valores mayores a 1,40 señalan ruido o demasiada aleatoriedad en los datos observados. Los valores comprendidos entre 0,80 y 1,2 se consideran buenos, los valores comprendidos entre 0,60 y 1,4 aceptables y valores fuera de esos intervalos se consideran poco aceptables. Todos los ítems del cuestionario pudieron considerarse buenos, excepto el ítem 11 que mostró un valor aceptable. El estadígrafo Infit estandarizado toma valores deseables en el intervalo comprendido entre -2 y 2. En la Tabla 3 puede observarse que 25 ítems muestran valores dentro del intervalo anterior.

El Outfit MSQ hace referencia al ajuste externo y es sensible a valores extremos (outliers) en los datos. Capta las anomalías en patrones de respuesta o reactivos lejanos al nivel de habilidad media de los sujetos que responden. Al igual que ocurre con el Infit MSQ, valores entre 0,80 y 1,2 se consideran buenos, valores entre 0,60 y 1,4 aceptables y valores menores de 0,6 y mayores de 1,4 se consideran poco aceptables. Únicamente el ítem 26 mostró un valor poco aceptable. En cuanto al resto de ítems, nueve alcanzaron valores aceptables y 16 tuvieron valores buenos. El estadígrafo Outfit estandarizado toma valores deseables cuando se encuentra en el intervalo comprendido entre -2 y 2. Se observa en la Tabla 4 que 23 ítems mostraron valores en dicho intervalo.

En la Figura 2 se muestra el mapa de la ubicación de las habilidades de las personas y las dificultades de los ítems a lo largo de la misma dimensión latente. Esta representación conjunta facilita la interpretación sobre si el cuestionario cuenta con ítems de buena calidad técnica en todos los niveles de habilidad. En el panel superior aparece la distribución de las personas según su nivel de habilidad y el panel inferior muestra los ítems (eje y) ordenados de mayor a menor nivel de dificultad. Se observa a la derecha de la representación un grupo de alumnos con un nivel de habilidad que no mostró correspondencias con ningún ítem. A pesar de ello, se puede considerar a nivel general una distribución adecuada entre las dificultades de los ítems y las habilidades de los alumnos, pues los reactivos cubren amplios intervalos de habilidad de los estudiantes.

4. Conclusiones

Mediante el análisis de los resultados de esta investigación se ha podido comprobar que el cuestionario cuenta con una buena confiabilidad, evidencias de la tendencia unidimensional necesaria para aplicar la TRI, que permitieron confirmar la fiabilidad y validez del mismo.

Las fases descritas en este estudio han permitido la validación del cuestionario COCIP para observar la competencia científica en alumnado de Educación Primaria. Se trata de un instrumento de diagnóstico educativo referido a aspectos de tipo motivacional y actitudinal, que sirve para mejorar y proponer entrenamientos para optimizar el proceso de aprendizaje. Además, proporciona indicadores para llevar a cabo un asesoramiento eficaz sobre la mejor manera de enfrentarse a las distintas actividades y tareas de la enseñanza científica. Por ello, podemos concluir que el cuestionario puede ser una herramienta válida y fiable para mejorar la motivación y actitud del alumnado, además de proporcionar información útil para mejorar la enseñanza científica. Así como las escalas elaboradas o empleadas por otros autores que perseguían objetivos similares a los nuestros (Delgado et al., 2014; Lupión-Cobos et al, 2019; Manassero-Mass et al., 2004).

Los análisis estadísticos realizados confirman que se trata de un instrumento fiable y válido. La amplia muestra a la que se aplicó permitió obtener datos suficientes para conocer las características psicotécnicas de la prueba en su conjunto. La confiabilidad se evaluó mediante el cálculo e interpretación del coeficiente Alfa de Conbrach y se pudo comprobar que el test muestra una buena consistencia interna. Por medio del Análisis Factorial Exploratorio se verificó la unidimensionalidad de la escala y con el modelo de Rasch se generaron evidencias para concluir un grado aceptable de la calidad técnica de los ítems. La mayoría de los reactivos mostraron valores de dificultad adecuados y el ajuste de los datos al modelo, tanto interno como externo, fue apropiado. También el mapa de ajuste entre las personas e ítems evidenció que el constructo muestra reactivos con una buena calidad técnica en amplios intervalos de habilidad del alumnado.

Por todo lo expuesto anteriormente, se puede afirmar que la aplicación de este enfoque psicométrico a través del modelo de Rasch ha permitido dar un soporte más científico al COCIP y, por tanto, aportar evidencias de su validez para extraer conclusiones que han de ser tenidas en cuenta para innovar en la enseñanza y despertar la motivación hacia estos aprendizajes en los estudiantes, siendo de utilidad como finalidad educativa de la enseñanza de las ciencias (Acevedo et al., 2003).

Referencias

Acevedo, J. A., Vázquez, A. y Manassero, M. A. (2003). Papel de la educación CTS en una alfabetización científica y tecnológica para todas las personas. Revista Electrónica de Enseñanza de las Ciencias, 2(2), 80–111.

Arandia, E., Zuza, K. y Guisasola, J. (2016). Actitudes y motivaciones de los estudiantes de ciencias en bachillerato y universidad hacia el aprendizaje de la física. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 13(3), 558–573. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2016.v13.i3.04

Baena, M. D. (2000). Pensamiento y acción en la enseñanza de las ciencias. Enseñanza de las Ciencias, 18(2), 217–226. https://doi.org/10.5565/rev/ensciencias.4040

Cheung, D. (2009). Developing a scale to measure students' attitudes toward chemistry lessons. International Journal of Science Education, 31(16), 2185–2203. https://doi.org/10.1080/09500690802189799

Centro de Investigación para la Educación Científica y Matemática (CRECIM). (2011). En Genious Project. Implementation of the Observatory. Report to the European Commission. European Commission.

Dávila-Acedo, M. A. (2017). Las emociones y sus causas en el aprendizaje de la Física y Química en el alumnado de Educación secundaria. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 14(3), 570–586. https://doi.org/10.25267/rev_eureka_ensen_divulg_cienc.2017.v14.i3.05

DeBoer, G. E. (2011). The Globalization of Science Education. Journal of Research in Science Teaching, 48(6), 567–591. https://doi.org/10.1002/tea.20421

Delgado, J., Vallés, C. y López, M. A. (2014). Las actitudes hacia la ciencia de alumnos de Educación Primaria: una primera aproximación. XXVI Encuentros de Didáctica de las Ciencias Experimentales. Huelva, España.

España, E. y Prieto, T. (2010). Los problemas socio-científicos como contexto para la enseñanza y el aprendizaje de las ciencias. Investigación en la Escuela, (71), 17–24. https://doi.org/10.12795/IE.2010.i71.02

Fraser, B. J. (1981). TOSRA: Test of science-related attitudes handbook. Australian Council for Educational Research.

García, S., Martínez, C. y Rivadulla, J. (2021). Las actividades de textos escolares. Su contribución al desarrollo de la competencia científica. Enseñanza de las ciencias, 39(1), 219–238. https://doi.org/10.5565/rev/ensciencias.3099

Garritz, A. (2010). La enseñanza de la ciencia en una sociedad con incertidumbre y cambios acelerados. Enseñanza de las Ciencias, 28(3), 315–326. https://doi.org/10.5565/rev/ec/v28n3.4

Hodson, D. (2003). Time for action: Science education for an alternative future. International Journal of Science Education, 25(6), 645–670. https://doi.org/10.1080/09500690305021

Lupión-Cobos, T., Franco-Mariscal, A. J. y Girón-Gambero, J. R. (2019). Predictores de vocación en Ciencia y Tecnología en jóvenes: Estudio de casos sobre percepciones de alumnado de secundaria y la influencia de participar en experiencias educativas innovadoras. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 16(3), 3102. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2019.v16.i3.3102

Manassero-Mass, M. A., Vázquez-Alonso, Á. y Acevedo-Díaz, J. A. (2004). Evaluación de las actitudes del profesorado respecto a los temas CTS: nuevos avances metodológicos. Enseñanza de las Ciencias, 22(2), 299–312. https://doi.org/10.5565/rev/ensciencias.3891

Martín, C., Prieto, T. y Jiménez, M. A. (2015). Tendencias del profesorado de ciencias en formación inicial sobre las estrategias metodológicas en la enseñanza de las ciencias. Estudio de un caso en Málaga. Enseñanza de las Ciencias, 33(1), 167–184. https://doi.org/10.5565/rev/ensciencias.1500

Mato, M. D., Espiñeira, E. y Chao, R. (2014). Dimensión afectiva hacia la matemática; resultados de un análisis en educación primaria. Revista de Investigación Educativa, 32(1), 57–72. https://doi.org/10.6018/rie.32.1.164921

Mellado, V. y Blanco, L. J. (2013). Introducción. En V. Mellado, L. J. Blanco, A. B. Borrachero y J. A. Cárdenas (Eds.). Las Emociones en la Enseñanza y el Aprendizaje de las Ciencias Experimentales y las Matemáticas. DEPROFE.

Méndez-Alonso, D., Méndez-Giménez, A. y Fernández-Rio, F. J. (2015). Análisis y valoración del proceso de incorporación a las Competencias Básicas en Educación Primaria. Revista de Investigación Educativa, 33(1), 233–246. https://doi.org/10.6018/rie.33.1.183841

Mengascini, A., Menegaz, A., Murriello, S. y Petrucci, D. (2004). “…Yo así, locos como los vi a ustedes, no me lo imaginaba.”: las imágenes de ciencia y de científico de estudiantes de carreras científicas. Enseñanza de las Ciencias, 22(1), 65–78. https://doi.org/10.5565/rev/ensciencias.3903

Muñoz, T. G. (2003). El Cuestionario como Instrumento de Investigación/Evaluación. Recuperado de https://bit.ly/3IKU2zu

Muñiz, J. (1997). Introducción a la teoría de respuesta a los ítems. Pirámide.

Nordine, J., Krajcik, J. y Fortus, D. (2011). Transforming Energy Instruction in Middle School to Support Integrated Understanding and Future Learning. Science Education, 95(4), 670–699. https://doi.org/10.1002/sce.20423

Nortes, R. y Pro A. (2010) Actitudes hacia las ciencias de los alumnos de Educación primaria de la región de Murcia. Comunicación presentada en II Jornadas del máster en investigación e innovación en Educación infantil y Educación primaria. Murcia.

OECD. (2019). PISA 2018 Results. Where all students can succeed (Volume II). OECD. https://doi.org/10.1787/f56f8c26-en

Osborne, J., Collins, S., Ratcliffe, M., Miller, R. y Duschl, R. (2003). What «Ideas-about-science» should be taught in school science? A Delphi study of the expert community. Journal of Research in Science Teaching, 40(7), 692–720. https://doi.org/10.1002/tea.10105

Pérez, A. (2005). Evaluación nacional de actitudes y valores hacia la ciencia en entornos educativos. FECYT.

Porlán Ariza, R., Rivero García, A. y Martín del Pozo, R. (1997). Conocimiento profesional y epistemológico de los profesores I: Teoría, métodos e instrumentos. Enseñanza de las Ciencias, 15(2), 155–164. https://doi.org/10.5565/rev/ensciencias.4173

Prieto, G. y Delgado, A. R. (2003). Análisis de un test mediante el modelo de Rasch. Psicothema, 15(1), 94–100.

Pro Bueno, J. A. (2003). La construcción del conocimiento científico y los contenidos de ciencias. En M. P. Jiménez Aleixandre (Coord.), Enseñar Ciencias (pp. 33–54). Barcelona: Graó.

Pro Bueno, J. A., Pérez, A. y Tárraga, P. (2009). ¿Científico? Sí, pero… Opinión de los escolares españoles sobre los científicos y su trabajo. Enseñanza de las Ciencias, VIII, Congreso Internacional sobre Investigación en Didáctica de las Ciencias (pp. 3649–3656).

Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Danish Institute for Educational Research.

Romero-Rivas, I. (2014). Actitudes hacia las ciencias de los estudiantes de NM1 del Colegio San Sebastián de Los Andes de la red de colegios educaUC. Revista Internacional de Aprendizaje en Ciencia, Matemáticas y Tecnología, 1(1). https://doi.org/10.37467/gka-revedumat.v1.1017

Romine, W. L. y Sadler, T. D. (2016). Measuring changes in interest in science and technology at the college level in response to two instructional inverventions. Research in Science Education, 46(3), 309–327. https://doi.org/10.1007/s11165-014-9452-8

Rosales, E. M., Rodríguez, P. G. y Romero, M. (2020). Conocimiento, demanda cognitiva y contextos en la evaluación de la alfabetización científica en PISA. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 17(2), 2302. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2020.v17.i2.2302

Toma, R. B. y Greca, I. M. (2018). The Effect of Integrative STEM Instruction on Elementary Students’ Attitudes toward Science. Eurasia Journal of Mathematics, Science & Technology Education, 14(4), 1383–1395. https://doi.org/10.29333/ejmste/83676

Vázquez, A., Acevedo, J. A. y Manassero, M. A. (2004). Consenso sobre la naturaleza de la ciencia; evidencias e implicaciones para su enseñanza. Revista Iberoamericana de educación, 34(1). https://doi.org/10.35362/rie3412895

Vázquez, A., Acevedo, J. A. y Manassero, M. A. (2005). Más allá de una enseñanza de las ciencias para científicos: hacia una educación científica humanista. Revista Electrónica de Enseñanza de las Ciencias, 4(2). https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2005.v2.i2.01

Vázquez, A. y Manassero, M. A. (2007). En defensa de las actitudes y emociones en la educación científica (I): Evidencias y argumentos generales. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 4(2), 247–271. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2007.v4.i2.03

Vázquez, A. y Manassero, M. A. (2008). El declive de las actitudes hacia la Ciencia de los estudiantes: un indicador inquietante para la educación científica. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 5(3), 274–292. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2008.v5.i3.03

Vázquez, A. y Manassero, M. A. (2015). La elección de estudios superiores científico-técnicos: análisis de algunos factores determinantes en seis países. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 12(2), 264–277. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2015.v12.i2.03

Welch, A. G. (2010). Using the TOSRA to Assess High School Students’ Attitudes toward Science after Competing in the FIRST Robotics Competition: An Exploratory Study. Eurasia Journal of Mathematics, Science & Technology Education, 6(3), 187–197. https://doi.org/10.12973/ejmste/75239

Anexo 1

Anexo 2

_______________________________

(*) Autor de correspondencia / Corresponding author